تحليل البيانات بإستخدام لغة البرمجة آر

# تحليل البيانات بإستخدام لغة البرمجة آر
### نايف العتيبي
### الجمعية المهنية للاحصائين وعلماء البيانات
### 22-01-2022

---

<div>
<style type="text/css">.xaringan-extra-logo {
width: 110px;
height: 128px;
z-index: 0;
background-image: url(img/trans_logo.png);
background-size: contain;
background-repeat: no-repeat;
position: absolute;
top:1em;left:1em;
}
</style>
<script>(function () {
  let tries = 0
  function addLogo () {
    if (typeof slideshow === 'undefined') {
      tries += 1
      if (tries < 10) {
        setTimeout(addLogo, 100)
      }
    } else {
      document.querySelectorAll('.remark-slide-content:not(.title-slide):not(.inverse):not(.hide_logo)')
        .forEach(function (slide) {
          const logo = document.createElement('div')
          logo.classList = 'xaringan-extra-logo'
          logo.href = null
          slide.appendChild(logo)
        })
    }
  }
  document.addEventListener('DOMContentLoaded', addLogo)
})()</script>
</div>

## الاجندة

* مراجعة لاساسيات آر
* دورة مشروع البيانات
* كيف تبداء مع البيانات
* تصوير البيانات
* تحديد واستخراج المتغيرات
* Tidying
* ربط البيانات
* البيانات المفقودة

---

مراجعة لاساسيات آر

* ماهو المتجة وماهي  انواع المتجهات 
(Vector)
؟

* ماهو الآسم و ماهي علامة
`<-`
؟

* ماهو الكائن (Object)
؟

* ماهو النوع
(class)
؟

* ماهي الدالة
(function)
؟

---

##  ماهو المتجة وماهي  انواع المتجهات (Vector)?

<div class="figure">
<img src="data:image/png;base64,#img/summary-tree-s3-1.png" alt="source: https://adv-r.hadley.nz/vectors-chap.html" width="992" />
<p class="caption">source: https://adv-r.hadley.nz/vectors-chap.html</p>
</div>

]

```r
c(1, 2, 3)
```

```
[1] 1 2 3
```

```r
c("a", "b", "c")
```

```
[1] "a" "b" "c"
```

```r
c(TRUE, FALSE)
```

```
[1]  TRUE FALSE
```
]

---

## ماهو الآسم و ماهي علامة "<-"?

```r
x <- c(1, 2, 3)
y <- c("a", "b", "c")
z <- c(TRUE, FALSE)
```

[](https://d33wubrfki0l68.cloudfront.net/bd90c87ac98708b1731c92900f2f53ec6a71edaf/ce375/diagrams/name-value/binding-1.png)

```r
#install.packages("lobstr")
library(lobstr)
obj_addr(x)
```

```
[1] "0x7fc8bf0ed128"
```

```r
obj_addr(x)
```

```
[1] "0x7fc8bf0ed128"
```

```r
obj_addr(c(1,2,3))
```

```
[1] "0x7fc8b937db98"
```

```r
obj_addr(c(1,2,3))
```

```
[1] "0x7fc8b6463838"
```

---
## ماهو النوع (class)?

```r
class(x)
```

```
[1] "numeric"
```

```r
class(y)
```

```
[1] "character"
```

```r
class(z)
```

```
[1] "logical"
```
]

```r
z <- c(TRUE, FALSE)
z_numeric <- as.numeric(z)

class(z_numeric)
```

```
[1] "numeric"
```

```r
z_numeric
```

```
[1] 1 0
```
]

---

## ماهو الكائن (Object)?

```r
"z"
```

```
[1] "z"
```

```r
z
```

```
[1]  TRUE FALSE
```

```r
"w"
```

```
[1] "w"
```

```r
w
```

```
Error in eval(expr, envir, enclos): object 'w' not found
```

---

## ماهي الدالة (function)?

```r
library(tidyverse)

a <- c(1,2,3,4,5)
b <- c(6,7,8,9,10)
c <- c(11,12,13,14,15)
d <- c(16,17,18,19,20)

df <- tibble(
  a ,
  b ,
  c ,
  d 
)

df$a <- ( df$a - mean(df$a))
df$b <- ( df$b - mean(df$b))
df$c <- ( df$c - mean(df$c))
df$d <- ( df$d - mean(df$d))

remove_mean <- function(x) {
    x - mean(x)
}

df$a <- remove_mean( df$a )
df$b <- remove_mean( df$b )
df$c <- remove_mean( df$c )
df$d <- remove_mean( df$d )
```

---

## ماهي الدالة (function)?

```r
f02 <- function(x, y) {
  # A comment
  x + y
}

formals(f02) # arguments
```

```
$x

$y
```

```r
body(f02)
```

```
{
    x + y
}
```

```r
environment(f02)
```

```
<environment: R_GlobalEnv>
```

---

# دورة مشروع البيانات

---

![](data:image/png;base64,#https://d33wubrfki0l68.cloudfront.net/795c039ba2520455d833b4034befc8cf360a70ba/558a5/diagrams/data-science-explore.png)

* Import: قراءة البيانات
* Tidy: تحضير البيانات لنحصل علي الشكل المناسب للنبداء مرحلة الاستكشاف
* Transform: استخراج الانماط من البيانات 
* Visualise: تصوير البيانات
* Model:  بناء النموذج
* Communicate: كتابة التقرير النهائي

---

## كيف تبداء مع البيانات؟

---
### السلام عليكم، كيف حالك بيانات؟

1. حدد الهدف الرئيسي من البيانات
1. اطلع على البيانات
1. ابداء التحليل المبدئي لجودة البيانات
1. ماهو توزيع المتغيرات الكمية؟
1. ماهو توزيع المتغيرات الاسمية؟
1. ماهي العلاقة بين  المتغيرات؟
1. دون الملاحظات.

---
class: inverse, center, middle

# جرب نفسك!

# Diamonds

```r
library(tidyverse)

diamonds <- read_csv("https://raw.githubusercontent.com/tidyverse/ggplot2/master/data-raw/diamonds.csv")

# Data Dictionary "https://ggplot2.tidyverse.org/reference/diamonds.html"
```

???

open rmarkdown and put the question and prepare the document

---
class: center, middle

## الهدف هو دراسة تاثير السعر على المتغيرات الاخرى

---
class: inverse, center, middle

### data quality report

```r
#install.packages("skimr")
library(skimr)
diamonds %>% 
  skim()
```

---

الان حددنا الأسئلة ودونا الملاحظات
طيب كيف راح نجاوب عليها؟
--

.my-ltr[
>"The single graph has brought more information to the data analyst`s mind than any device" - John Tukey
]

--
## تمثيل البيانات

---
### كيف احدد نوع الرسم البياني؟
--

* المدرج التكراري  او توزيع الكثافة للمتغيرات الفردية الكمية
--

*  لوحة الانتشار للمتغيرات الثنائية الكمية
--

* السلسلة الزمنية للمتغيرات التي تحتوي علي زمن
--

* رسمة موسياك او مخطط الاشرطة  للمتغيرات الوصفية 
--

* مصفوفة الترابط بين جميع المتغيرات الكمية
--

* مصادر جيدة لتحديد التمثيل المناسب حسب نوع البيانات

* https://www.data-to-viz.com

* https://clauswilke.com/dataviz/directory-of-visualizations.html

---

## هل سمعت في 
ggplot2
?
---

### قالب ggplot2

```r
<data> %>% 
  ggplot(aes(x = <x>, y = <y>)) +
  geom_<geom>()
```

website: https://ggplot2.tidyverse.org

---

```r
diamonds %>%
  ggplot(aes(x = price)) +
* geom_histogram()
```
]
 
.panel2-price_diamonds_showcase1-rotate[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_showcase1_rotate_01_output-1.png)
]

---
count: false
 
### الرسم البياني  للسعر
.panel1-price_diamonds_showcase1-rotate[

```r
diamonds %>%
  ggplot(aes(x = price)) +
* geom_boxplot()
```
]
 
.panel2-price_diamonds_showcase1-rotate[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_showcase1_rotate_02_output-1.png)
]

---
count: false
 
### الرسم البياني  للسعر
.panel1-price_diamonds_showcase1-rotate[

```r
diamonds %>%
  ggplot(aes(x = price)) +
* geom_density(fill = "Red")
```
]
 
.panel2-price_diamonds_showcase1-rotate[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_showcase1_rotate_03_output-1.png)
]

---

```r
*diamonds
```
]
 
.panel2-price_diamonds_histo-auto[

```
# A tibble: 53,940 x 10
   carat cut       color clarity depth table price     x     y     z
   <dbl> <ord>     <ord> <ord>   <dbl> <dbl> <int> <dbl> <dbl> <dbl>
 1 0.23  Ideal     E     SI2      61.5    55   326  3.95  3.98  2.43
 2 0.21  Premium   E     SI1      59.8    61   326  3.89  3.84  2.31
 3 0.23  Good      E     VS1      56.9    65   327  4.05  4.07  2.31
 4 0.290 Premium   I     VS2      62.4    58   334  4.2   4.23  2.63
 5 0.31  Good      J     SI2      63.3    58   335  4.34  4.35  2.75
 6 0.24  Very Good J     VVS2     62.8    57   336  3.94  3.96  2.48
 7 0.24  Very Good I     VVS1     62.3    57   336  3.95  3.98  2.47
 8 0.26  Very Good H     SI1      61.9    55   337  4.07  4.11  2.53
 9 0.22  Fair      E     VS2      65.1    61   337  3.87  3.78  2.49
10 0.23  Very Good H     VS1      59.4    61   338  4     4.05  2.39
# … with 53,930 more rows
```
]

---
count: false
 
### المدرج التكراري للسعر 
.panel1-price_diamonds_histo-auto[

```r
diamonds %>%
* ggplot(aes(x = price))
```
]
 
.panel2-price_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_histo_auto_02_output-1.png)
]

---
count: false
 
### المدرج التكراري للسعر 
.panel1-price_diamonds_histo-auto[

```r
diamonds %>%
  ggplot(aes(x = price)) +
* geom_histogram()
```
]
 
.panel2-price_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_histo_auto_03_output-1.png)
]

---
count: false
 
### المدرج التكراري للسعر 
.panel1-price_diamonds_histo-auto[

```r
diamonds %>%
  ggplot(aes(x = price)) +
  geom_histogram() +
* scale_x_log10()
```
]
 
.panel2-price_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/price_diamonds_histo_auto_04_output-1.png)
]

---

count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
*diamonds
```
]
 
.panel2-others_diamonds_histo-auto[

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
* select(where(is.numeric))
```
]
 
.panel2-others_diamonds_histo-auto[

```
# A tibble: 53,940 x 7
   carat depth table price     x     y     z
   <dbl> <dbl> <dbl> <int> <dbl> <dbl> <dbl>
 1 0.23   61.5    55   326  3.95  3.98  2.43
 2 0.21   59.8    61   326  3.89  3.84  2.31
 3 0.23   56.9    65   327  4.05  4.07  2.31
 4 0.290  62.4    58   334  4.2   4.23  2.63
 5 0.31   63.3    58   335  4.34  4.35  2.75
 6 0.24   62.8    57   336  3.94  3.96  2.48
 7 0.24   62.3    57   336  3.95  3.98  2.47
 8 0.26   61.9    55   337  4.07  4.11  2.53
 9 0.22   65.1    61   337  3.87  3.78  2.49
10 0.23   59.4    61   338  4     4.05  2.39
# … with 53,930 more rows
```
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
* mutate(id = row_number())
```
]
 
.panel2-others_diamonds_histo-auto[

```
# A tibble: 53,940 x 8
   carat depth table price     x     y     z    id
   <dbl> <dbl> <dbl> <int> <dbl> <dbl> <dbl> <int>
 1 0.23   61.5    55   326  3.95  3.98  2.43     1
 2 0.21   59.8    61   326  3.89  3.84  2.31     2
 3 0.23   56.9    65   327  4.05  4.07  2.31     3
 4 0.290  62.4    58   334  4.2   4.23  2.63     4
 5 0.31   63.3    58   335  4.34  4.35  2.75     5
 6 0.24   62.8    57   336  3.94  3.96  2.48     6
 7 0.24   62.3    57   336  3.95  3.98  2.47     7
 8 0.26   61.9    55   337  4.07  4.11  2.53     8
 9 0.22   65.1    61   337  3.87  3.78  2.49     9
10 0.23   59.4    61   338  4     4.05  2.39    10
# … with 53,930 more rows
```
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
* pivot_longer( cols =  -id)
```
]
 
.panel2-others_diamonds_histo-auto[

```
# A tibble: 377,580 x 3
      id name   value
   <int> <chr>  <dbl>
 1     1 carat   0.23
 2     1 depth  61.5 
 3     1 table  55   
 4     1 price 326   
 5     1 x       3.95
 6     1 y       3.98
 7     1 z       2.43
 8     2 carat   0.21
 9     2 depth  59.8 
10     2 table  61   
# … with 377,570 more rows
```
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id) %>%
* ggplot(aes(x = value))
```
]
 
.panel2-others_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_histo_auto_05_output-1.png)
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id) %>%
  ggplot(aes(x = value)) +
* geom_histogram()
```
]
 
.panel2-others_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_histo_auto_06_output-1.png)
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id) %>%
  ggplot(aes(x = value)) +
  geom_histogram() +
* facet_wrap(~name)
```
]
 
.panel2-others_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_histo_auto_07_output-1.png)
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id) %>%
  ggplot(aes(x = value)) +
  geom_histogram() +
  facet_wrap(~name) +
* facet_wrap(~name,
*            scales = "free")
```
]
 
.panel2-others_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_histo_auto_08_output-1.png)
]

---
count: false
 
### المدرج التكراري لبقية المتغيرات
.panel1-others_diamonds_histo-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id) %>%
  ggplot(aes(x = value)) +
  geom_histogram() +
  facet_wrap(~name) +
  facet_wrap(~name,
             scales = "free")
```
]
 
.panel2-others_diamonds_histo-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_histo_auto_09_output-1.png)
]

---

```r
*diamonds
```
]
 
.panel2-others_diamonds_box-auto[

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
* select(where(is.numeric))
```
]
 
.panel2-others_diamonds_box-auto[

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
* mutate(id = row_number())
```
]
 
.panel2-others_diamonds_box-auto[

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
* pivot_longer( cols =  -id)
```
]
 
.panel2-others_diamonds_box-auto[

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id)%>%
* ggplot(aes(x = value))
```
]
 
.panel2-others_diamonds_box-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_box_auto_05_output-1.png)
]

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id)%>%
  ggplot(aes(x = value)) +
* geom_boxplot()
```
]
 
.panel2-others_diamonds_box-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_box_auto_06_output-1.png)
]

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id)%>%
  ggplot(aes(x = value)) +
  geom_boxplot() +
* facet_wrap(~name)
```
]
 
.panel2-others_diamonds_box-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_box_auto_07_output-1.png)
]

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id)%>%
  ggplot(aes(x = value)) +
  geom_boxplot() +
  facet_wrap(~name) +
* facet_wrap(~name,
*            scales = "free")
```
]
 
.panel2-others_diamonds_box-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_box_auto_08_output-1.png)
]

---
count: false
 
### او بالامكان استخدام boxplot
.panel1-others_diamonds_box-auto[

```r
diamonds %>%
  select(where(is.numeric)) %>%
  mutate(id = row_number()) %>%
  pivot_longer( cols =  -id)%>%
  ggplot(aes(x = value)) +
  geom_boxplot() +
  facet_wrap(~name) +
  facet_wrap(~name,
             scales = "free")
```
]
 
.panel2-others_diamonds_box-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_box_auto_09_output-1.png)
]

---
count: false
 
### المتغيرات الاسمية
.panel1-others_diamonds_bar_uni-auto[

```r
*diamonds
```
]
 
.panel2-others_diamonds_bar_uni-auto[

---
count: false
 
### المتغيرات الاسمية
.panel1-others_diamonds_bar_uni-auto[

```r
diamonds %>%
* ggplot(aes(y = cut))
```
]
 
.panel2-others_diamonds_bar_uni-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_bar_uni_auto_02_output-1.png)
]

---
count: false
 
### المتغيرات الاسمية
.panel1-others_diamonds_bar_uni-auto[

```r
diamonds %>%
  ggplot(aes(y = cut)) +
* geom_bar()
```
]
 
.panel2-others_diamonds_bar_uni-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_bar_uni_auto_03_output-1.png)
]

---
count: false
 
### المتغيرات الاسمية
.panel1-others_diamonds_bar_uni-auto[

```r
diamonds %>%
  ggplot(aes(y = cut)) +
  geom_bar()
```
]
 
.panel2-others_diamonds_bar_uni-auto[
![](data:image/png;base64,#index_files/figure-html/others_diamonds_bar_uni_auto_04_output-1.png)
]

---

```r
*diamonds
```
]
 
.panel2-others_diamonds_bar-auto[